半监督学习在医疗领域取得了重大进展，因为它减轻了收集丰富的像素的沉重负担，用于针对语义分割任务。现有的半监督方法增强了利用从有限标记数据获得的现有知识从未标记数据提取功能的能力。然而，由于标记数据的稀缺性，模型提取的特征在监督学习中受到限制，并且对未标记数据的预测质量也无法保证。两者都将妨碍一致培训。为此，我们提出了一种新颖的不确定性感知计划，以使模型自动学习地区。具体而言，我们采用Monte Carlo采样作为获得不确定性地图的估计方法，该方法可以作为损失损失的重量，以强制根据监督学习和无监督学习的特征将模型专注于有价值的区域。同时，在后退过程中，我们通过增强不同任务之间的梯度流动，联合无监督和监督损失来加速网络的融合。定量地，我们对三个挑战的医疗数据集进行了广泛的实验。实验结果表明，最先进的对应物的理想改善。

This work provides a Deep Reinforcement Learning approach to solving a periodic review inventory control system with stochastic vendor lead times, lost sales, correlated demand, and price matching. While this dynamic program has historically been considered intractable, our results show that several policy learning approaches are competitive with or outperform classical methods. In order to train these algorithms, we develop novel techniques to convert historical data into a simulator. On the theoretical side, we present learnability results on a subclass of inventory control problems, where we provide a provable reduction of the reinforcement learning problem to that of supervised learning. On the algorithmic side, we present a model-based reinforcement learning procedure (Direct Backprop) to solve the periodic review inventory control problem by constructing a differentiable simulator. Under a variety of metrics Direct Backprop outperforms model-free RL and newsvendor baselines, in both simulations and real-world deployments.

神经网络（NNS）也很难有效地学习某些问题，例如奇偶校验问题，即使对于这些问题有简单的学习算法。NNS可以自己发现学习算法吗？我们展示了一个NN体系结构，在多项式时期，可以通过恒定尺寸的学习算法来学习以及任何有效的学习算法。例如，在奇偶校验问题上，NN学习和减少行，这是一种可以简单描述的有效算法。我们的体系结构结合了层和卷积重量共享之间的重复分享，即使网络本身可能具有数万亿个节点，也将参数数量降低到常数。在实践中，我们的分析中的常数太大而无法直接有意义，但我们的工作表明，经常性和卷积NNS（RCNN）的协同作用可能比单独的任何一个更强大。

我们研究了协变量偏移下的线性回归，其中输入协变量的边际分布在源和目标域上有所不同，而在两个域中，给定输入协变量的输出的条件分布相似。我们根据针对此问题的目标数据（均由在线SGD进行的目标数据（均由在线SGD执行）进行预处理研究，研究了转移学习方法。我们为这种方法建立了尖锐的实例依赖性高风险上限和下限。我们的界限表明，对于大量的线性回归实例，使用$ O（n^2）$源数据（以及稀缺或无目标数据）转移学习与使用$ n $目标数据的监督学习一样有效。此外，我们表明，即使只有少量的目标数据，也可能会大大减少预处理所需的源数据量。我们的理论阐明了预处理的有效性和局限性以及对解决协变量转移问题的填补的好处。

当我们扩大数据集，模型尺寸和培训时间时，深入学习方法的能力中存在越来越多的经验证据。尽管有一些关于这些资源如何调节统计能力的说法，但对它们对模型培训的计算问题的影响知之甚少。这项工作通过学习$ k $ -sparse $ n $ bits的镜头进行了探索，这是一个构成理论计算障碍的规范性问题。在这种情况下，我们发现神经网络在扩大数据集大小和运行时间时会表现出令人惊讶的相变。特别是，我们从经验上证明，通过标准培训，各种体系结构以$ n^{o（k）} $示例学习稀疏的平等，而损失（和错误）曲线在$ n^{o（k）}后突然下降。 $迭代。这些积极的结果几乎匹配已知的SQ下限，即使没有明确的稀疏性先验。我们通过理论分析阐明了这些现象的机制：我们发现性能的相变不到SGD“在黑暗中绊倒”，直到它找到了隐藏的特征集（自然算法也以$ n^中的方式运行{o（k）} $ time）;取而代之的是，我们表明SGD逐渐扩大了人口梯度的傅立叶差距。

$ t_ {1 \ rho} $映射是一种有希望的定量MRI技术，用于对组织性质的非侵入性评估。基于学习的方法可以从减少数量的$ t_ {1 \ rho} $加权图像中映射$ t_ {1 \ rho} $，但需要大量的高质量培训数据。此外，现有方法不提供$ t_ {1 \ rho} $估计的置信度。为了解决这些问题，我们提出了一个自我监督的学习神经网络，该网络使用学习过程中的放松约束来学习$ t_ {1 \ rho} $映射。为$ t_ {1 \ rho} $量化网络建立了认知不确定性和态度不确定性，以提供$ t_ {1 \ rho} $映射的贝叶斯置信度估计。不确定性估计还可以使模型规范化，以防止其学习不完美的数据。我们对52例非酒精性脂肪肝病患者收集的$ T_ {1 \ rho} $数据进行了实验。结果表明，我们的方法优于$ t_ {1 \ rho} $量化肝脏的现有方法，使用少于两个$ t_ {1 \ rho} $加权图像。我们的不确定性估计提供了一种可行的方法，可以建模基于自我监督学习的$ t_ {1 \ rho} $估计的信心，这与肝脏中的现实$ t_ {1 \ rho} $成像是一致的。

Offline policy evaluation is a fundamental statistical problem in reinforcement learning that involves estimating the value function of some decision-making policy given data collected by a potentially different policy. In order to tackle problems with complex, high-dimensional observations, there has been significant interest from theoreticians and practitioners alike in understanding the possibility of function approximation in reinforcement learning. Despite significant study, a sharp characterization of when we might expect offline policy evaluation to be tractable, even in the simplest setting of linear function approximation, has so far remained elusive, with a surprising number of strong negative results recently appearing in the literature. In this work, we identify simple control-theoretic and linear-algebraic conditions that are necessary and sufficient for classical methods, in particular Fitted Q-iteration (FQI) and least squares temporal difference learning (LSTD), to succeed at offline policy evaluation. Using this characterization, we establish a precise hierarchy of regimes under which these estimators succeed. We prove that LSTD works under strictly weaker conditions than FQI. Furthermore, we establish that if a problem is not solvable via LSTD, then it cannot be solved by a broad class of linear estimators, even in the limit of infinite data. Taken together, our results provide a complete picture of the behavior of linear estimators for offline policy evaluation, unify previously disparate analyses of canonical algorithms, and provide significantly sharper notions of the underlying statistical complexity of offline policy evaluation.

文本冒险游戏由于其组合大的动作空间和稀疏奖励而导致加强学习方法具有独特的挑战。这两个因素的相互作用尤为苛刻，因为大型动作空间需要广泛的探索，而稀疏奖励提供有限的反馈。这项工作提出使用多级方法来解决探索 - 与利用困境，该方法明确地解除了每一集中的这两种策略。我们的算法称为Exploit-Dear-Descore（XTX），使用剥削策略开始每个剧集，该策略是从过去的一组有希望的轨迹开始，然后切换到旨在发现导致未经看不见状态空间的新动作的探索政策。该政策分解允许我们将全球决策结合在该空间中返回基于好奇的本地探索的全球决策，这是由人类可能接近这些游戏的情况。我们的方法在杰里科基准（Hausknecht等人，2020）中，在杰里科基准（Hausknecht等人，2020）中，在确定性和随机设置的比赛中显着优于27％和11％的平均正常化分数。在Zork1的游戏中，特别是，XTX获得103的得分，超过先前方法的2倍改善，并且在游戏中推过已经困扰先前的方法的游戏中的几个已知的瓶颈。

互动学习和决策的基本挑战，从强盗问题到加固学习，是提供了实现的采样效率，自适应学习算法，实现了近乎最佳的遗憾。这个问题类似于最佳（监督）统计学习的经典问题，其中有众所周知的复杂性措施（例如，VC维度和Rademacher复杂性），用于控制学习的统计复杂性。然而，由于问题的适应性，表征交互式学习的统计复杂性基本上更具挑战性。这项工作的主要结果提供了复杂性措施，决策系数，被证明是必要的，并且足以用于采样有效的互动学习。特别是，我们提供：1。对于任何交互式决策问题的最佳遗憾的下限，将决策估计系数作为基本限制建立。 2.统一算法设计原理，估算到决策（E2D），它将任何用于监督估算的算法转换为决策的在线算法。 E2D遗憾的是符合我们下限的遗憾，从而实现了最佳的样本高效学习，其特征在于决策估计系数。一起参加，这些结果构成了互动决策的可读性理论。当应用于增强学习设置时，决策估计系数基本上恢复所有现有的硬度结果和下限。更广泛地，该方法可以被视为统计估算的经典LE CAM理论的决策理论;它还统一了许多现有方法 - 贝叶斯和频繁的方法。

自我注意事项是一种旨在在顺序数据中建模远程相互作用的建筑主题，它推动了自然语言处理及其他方面的许多最新突破。这项工作提供了对自我发项模块的归纳偏差的理论分析。我们的重点是严格确定哪些功能和远程依赖性自我注意力障碍更喜欢代表。我们的主要结果表明，有限的 - 标志变压器网络“创建稀疏变量”：单个自我发项头可以代表输入序列的稀疏函数，样品复杂性仅与上下文长度进行对数。为了支持我们的分析，我们提出了合成实验，以探测学习稀疏的布尔功能与变压器的样本复杂性。